Meta-evaluation of a participatory process in the strengthening of municipal management.

OBJECTIVE: To evaluate, with a focus on participation, an evaluation process developed by municipal managers and administrators of a health region in the state of São Paulo, considering the need for theoretical reflection on participatory health practices in the Brazilian context. METHODS: Qualitative research that used the framework developed by Daigneault and Jacob (2009) to analyze the empirical material, encompassing three dimensions of participation: control of the evaluation process, diversity of participants, and extent of their involvement. We highlighted decisions or contextual aspects that deepened or limited the participatory option in the process under study. RESULTS: We identified the presence and important performance of stakeholders who are "not specialists in evaluation", through participation both in the direction of the evaluation process and in its distinct stages. The formed group started from their own annoyances added to the need for information and reflection to define the subject and scope of the evaluation; the use of the process planned by them guided the definition of the data to be collected and the format of result dissemination; the empirical material analysis was undertaken jointly by the participants. Regarding the third dimension, a limitation was identified regarding the diversity of actors involved due to the prioritization of the possibility of in-depth work with a fixed group of managers. CONCLUSIONS: It is stated that there is no "ideal participation model" for evaluations. In certain contexts and structures, real opportunities for participation - even if they seem fragile at first sight - should be leveraged, and that requires flexibility and critical reflection on the part of those responsible for the evaluation processes to undertake the necessary adjustments.

[Meta-evaluation of a participantory evaluation conducted by municipal health administrators with a focus on "utility"]. / Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão "Utilidade".

This article aims to analyze the utility of a local evaluation process developed by administrators and managers of a regional health office in São Paulo, Brazil, and to discuss the need for a well-based choice of theoretical reference to judge this item in participatory approaches. To analyze the organization of the process, the study used the Patton reference, focused on facilitating participants' use of the evaluation. To analyze the evaluation's influence, the dimensions proposed by Weiss, Greene, and Kirkhart were followed. Various types of influence were identified in the field, based on the selected reference. In conclusion, an evaluation model that seeks to promote, together with the stakeholders, the identification of new possibilities of power negotiation requires methodological choices for quality analysis that are not limited to technical or instrumental values, but which expand with the recognition of influence in multiple directions: short and long-term scope and intentions, stages in the evaluation process, and various audiences.

Meta-evaluation of a participatory process in the strengthening of municipal management / Meta-avaliação de um processo participativo no fortalecimento da gestão municipal

ABSTRACT OBJECTIVE To evaluate, with a focus on participation, an evaluation process developed by municipal managers and administrators of a health region in the state of São Paulo, considering the need for theoretical reflection on participatory health practices in the Brazilian context. METHODS Qualitative research that used the framework developed by Daigneault and Jacob (2009) to analyze the empirical material, encompassing three dimensions of participation: control of the evaluation process, diversity of participants, and extent of their involvement. We highlighted decisions or contextual aspects that deepened or limited the participatory option in the process under study. RESULTS We identified the presence and important performance of stakeholders who are "not specialists in evaluation", through participation both in the direction of the evaluation process and in its distinct stages. The formed group started from their own annoyances added to the need for information and reflection to define the subject and scope of the evaluation; the use of the process planned by them guided the definition of the data to be collected and the format of result dissemination; the empirical material analysis was undertaken jointly by the participants. Regarding the third dimension, a limitation was identified regarding the diversity of actors involved due to the prioritization of the possibility of in-depth work with a fixed group of managers. CONCLUSIONS It is stated that there is no "ideal participation model" for evaluations. In certain contexts and structures, real opportunities for participation - even if they seem fragile at first sight - should be leveraged, and that requires flexibility and critical reflection on the part of those responsible for the evaluation processes to undertake the necessary adjustments.

RESUMO OBJETIVO Meta-avaliar, com foco na participação, um processo avaliativo desenvolvido por secretários e assessores municipais de uma região de saúde do estado de São Paulo, tendo em vista a necessidade de reflexão teórica sobre práticas de avaliação participativa na área da Saúde no contexto brasileiro. MÉTODOS Pesquisa qualitativa que utilizou, para análise do material empírico, o referencial desenvolvido por Daigneault e Jacob (2009), englobando três dimensões da participação: direção do processo avaliativo, diversidade dos participantes e extensão do envolvimento dos mesmos. Foram destacadas decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. RESULTADOS Identificou-se a presença e importante atuação de atores interessados "não especialistas em avaliação", por meio da participação tanto na direção do processo avaliativo como em suas diferentes etapas. O grupo formado partiu de seus próprios incômodos somados à necessidade de informação e reflexão para a definição do tema e escopo da avaliação; a utilização do processo por eles planejada guiou a definição dos dados a serem coletados e o formato da disseminação dos resultados; a análise do material empírico foi empreendida de forma conjunta pelos participantes. No tocante à terceira dimensão, foi identificada uma limitação quanto à diversidade de atores envolvidos em função da priorização da possibilidade de trabalho aprofundado com um grupo fixo de gestores. CONCLUSÕES Afirma-se que não existe um "modelo ideal de participação" para avaliações. Em determinados contextos e estruturas, oportunidades reais de participação - mesmo que pareçam frágeis à primeira vista - devem ser aproveitadas, exigindo, para tanto, flexibilidade e reflexão crítica por parte dos responsáveis pelos processos avaliativos, visando a empreender as adequações que se fizerem necessárias.

Meta-avaliação de uma avaliação participativa desenvolvida por gestores municipais de saúde com foco no padrão "Utilidade" / Meta-evaluation of a participantory evaluation conducted by municipal health administrators with a focus on "utility" / Metaevaluación de una evaluación participativa desarrollada por gestores municipales de salud, centrándose en el padrón "Utilidad"

Resumo: Este artigo tem por objetivo analisar a utilidade de um processo local de avaliação, desenvolvido por gestores e gerentes de uma região de saúde de São Paulo, Brasil, e discutir a necessidade da escolha criteriosa do referencial teórico para o julgamento deste quesito em abordagens participativas. Para a análise da organização do processo, utilizou-se o referencial de Patton, voltado a facilitar o uso da avaliação pelos participantes. Para análise da influência da avaliação, foram seguidas as dimensões propostas por Weiss, Greene e Kirkhart. Diversos tipos de influência foram identificados no campo com base no referencial escolhido. Conclui-se que um modelo de avaliação, que busca promover junto aos interessados a identificação de novas possibilidades de negociação de poder, exige escolhas metodológicas para análise de qualidade que não se restrinjam aos valores técnicos ou instrumentais, mas se ampliem ao reconhecimento da influência em direções múltiplas: alcances/intenções a curto e longo prazos, etapas do processo avaliativo e públicos diversos.

Abstract: This article aims to analyze the utility of a local evaluation process developed by administrators and managers of a regional health office in São Paulo, Brazil, and to discuss the need for a well-based choice of theoretical reference to judge this item in participatory approaches. To analyze the organization of the process, the study used the Patton reference, focused on facilitating participants' use of the evaluation. To analyze the evaluation's influence, the dimensions proposed by Weiss, Greene, and Kirkhart were followed. Various types of influence were identified in the field, based on the selected reference. In conclusion, an evaluation model that seeks to promote, together with the stakeholders, the identification of new possibilities of power negotiation requires methodological choices for quality analysis that are not limited to technical or instrumental values, but which expand with the recognition of influence in multiple directions: short and long-term scope and intentions, stages in the evaluation process, and various audiences.

Resumen: Este artículo tiene como objetivo analizar la utilidad de un proceso local de evaluación, desarrollado por gestores y gerentes de una región de salud de São Paulo, Brasil, y discutir la necesidad de una elección basada en criterios del marco de referencia teórico para el juicio de este requisito en enfoques de corte participativos. Para el análisis de la organización del proceso, se utilizó el referencial de Patton, dirigido a facilitar el uso de la evaluación por parte de los participantes. Para el análisis de la influencia de la evaluación, fueron seguidas las dimensiones propuestas por Weiss, Greene y Kirkhart. Diversos tipos de influencia se identificaron en este campo, en base al marco de referencia elegido. Se concluye que un modelo de evaluación, que busca promover junto a los interesados la identificación de nuevas posibilidades de negociación de poder, exige elecciones metodológicas para un análisis de calidad, que no se restrinjan a los valores técnicos o instrumentales, sino que se amplíen al reconocimiento de la influencia en múltiples direcciones: alcance/intención a corto y largo plazo, etapas del proceso evaluativo y públicos diversos.

Evaluation in health: participatory methodology and involvement of municipal managers.

OBJECTIVE: To analyze scopes and limits of the use of participatory methodology of evaluation with municipal health managers and administrators. METHODS: Qualitative research with health policymakers and managers of the Comissão Intergestores Regional (CIR - Regional Interagency Commission) of a health region of the state of Sao Paulo in Brazil. Representatives from seven member cities participated in seven workshops facilitated by the researchers, with the aim of assessing a specific problem of the care line, which would be used as a tracer of the system integrality. The analysis of the collected empirical material was based on the hermeneutic-dialectic methodology and aimed at the evaluation of the applied participatory methodology, according to its capacity of promoting a process of assessment capable to be used as a support for municipal management. RESULTS: With the participatory approach of evaluation, we were able to promote in-depth discussions with the group, especially related to the construction of integral care and to the inclusion of the user's perspective in decision-making, linked to the search for solution to concrete problems of managers. By joint exploration, the possibility of using data from electronic information systems was opened, as well as information coming directly from the users of the services, to enhance discussions and negotiations between partners. The participants were disbelievers of the replication potential of this type of evaluation without the direct monitoring of the academy, given the difficulty of organizing the process in everyday life, already taken by emergency and political issues. CONCLUSIONS: Evaluations of programs and services carried out within the Regional Interagency Commission, starting from the local interest and facilitating the involvement of its members by the use of participatory methodologies, can contribute to the construction of integral care. To the extent that the act of evaluating stay invested with greater significance to the local actors, its involvement with the evaluations at the federal level can also be stimulated. OBJETIVO: Analisar alcances e limites do uso de metodologia participativa de avaliação junto a gestores e gerentes municipais de saúde. MÉTODOS: Pesquisa qualitativa com gestores e gerentes de saúde da Comissão Intergestores Regional de uma região de saúde do estado de São Paulo. Representantes de sete municípios membros participaram de sete oficinas facilitadas pelos pesquisadores, com o objetivo de avaliar um problema específico da linha de cuidados sob a perspectiva da integralidade. A análise do material empírico coletado baseou-se na metodologia hermenêutica-dialética e visou a avaliação da metodologia participativa aplicada, segundo sua capacidade de promover um processo de avaliação passível de ser utilizado como suporte à gestão municipal. RESULTADOS: Com a abordagem participativa de avaliação, foi possível promover debates em profundidade com o grupo, principalmente relacionados à construção da integralidade da atenção e à inclusão da perspectiva do usuário na tomada de decisão, de forma vinculada à busca de solução para problemas concretos dos gestores. Mediante a exploração conjunta, foi aberta a possibilidade de utilização de dados advindos dos sistemas eletrônicos de informação, bem como de informações advindas diretamente dos usuários dos serviços, para enriquecer debates e negociações entre parceiros. Os participantes se mostraram descrentes do potencial de replicação deste tipo de avaliação sem o acompanhamento direto da academia, dada a dificuldade de organização do processo no cotidiano, já tomado por questões emergenciais e políticas. CONCLUSÕES: Avaliações de programas e serviços realizadas no âmbito da Comissão Intergestores Regional, partindo do interesse local e facilitando o envolvimento de seus membros pelo uso de metodologias participativas, podem contribuir para a construção da integralidade do cuidado. Na medida em que o ato de avaliar fique investido de maior significado para os atores locais, seu envolvimento com as avaliações em nível federal poderá ser também estimulado.

Evaluation in health: participatory methodology and involvement of municipal managers / Avaliação em saúde: metodologia participativa e envolvimento de gestores municipais

ABSTRACT OBJECTIVE To analyze scopes and limits of the use of participatory methodology of evaluation with municipal health managers and administrators. METHODS Qualitative research with health policymakers and managers of the Comissão Intergestores Regional (CIR - Regional Interagency Commission) of a health region of the state of Sao Paulo in Brazil. Representatives from seven member cities participated in seven workshops facilitated by the researchers, with the aim of assessing a specific problem of the care line, which would be used as a tracer of the system integrality. The analysis of the collected empirical material was based on the hermeneutic-dialectic methodology and aimed at the evaluation of the applied participatory methodology, according to its capacity of promoting a process of assessment capable to be used as a support for municipal management. RESULTS With the participatory approach of evaluation, we were able to promote in-depth discussions with the group, especially related to the construction of integral care and to the inclusion of the user's perspective in decision-making, linked to the search for solution to concrete problems of managers. By joint exploration, the possibility of using data from electronic information systems was opened, as well as information coming directly from the users of the services, to enhance discussions and negotiations between partners. The participants were disbelievers of the replication potential of this type of evaluation without the direct monitoring of the academy, given the difficulty of organizing the process in everyday life, already taken by emergency and political issues. CONCLUSIONS Evaluations of programs and services carried out within the Regional Interagency Commission, starting from the local interest and facilitating the involvement of its members by the use of participatory methodologies, can contribute to the construction of integral care. To the extent that the act of evaluating stay invested with greater significance to the local actors, its involvement with the evaluations at the federal level can also be stimulated.

RESUMO OBJETIVO Analisar alcances e limites do uso de metodologia participativa de avaliação junto a gestores e gerentes municipais de saúde. MÉTODOS Pesquisa qualitativa com gestores e gerentes de saúde da Comissão Intergestores Regional de uma região de saúde do estado de São Paulo. Representantes de sete municípios membros participaram de sete oficinas facilitadas pelos pesquisadores, com o objetivo de avaliar um problema específico da linha de cuidados sob a perspectiva da integralidade. A análise do material empírico coletado baseou-se na metodologia hermenêutica-dialética e visou a avaliação da metodologia participativa aplicada, segundo sua capacidade de promover um processo de avaliação passível de ser utilizado como suporte à gestão municipal. RESULTADOS Com a abordagem participativa de avaliação, foi possível promover debates em profundidade com o grupo, principalmente relacionados à construção da integralidade da atenção e à inclusão da perspectiva do usuário na tomada de decisão, de forma vinculada à busca de solução para problemas concretos dos gestores. Mediante a exploração conjunta, foi aberta a possibilidade de utilização de dados advindos dos sistemas eletrônicos de informação, bem como de informações advindas diretamente dos usuários dos serviços, para enriquecer debates e negociações entre parceiros. Os participantes se mostraram descrentes do potencial de replicação deste tipo de avaliação sem o acompanhamento direto da academia, dada a dificuldade de organização do processo no cotidiano, já tomado por questões emergenciais e políticas. CONCLUSÕES Avaliações de programas e serviços realizadas no âmbito da Comissão Intergestores Regional, partindo do interesse local e facilitando o envolvimento de seus membros pelo uso de metodologias participativas, podem contribuir para a construção da integralidade do cuidado. Na medida em que o ato de avaliar fique investido de maior significado para os atores locais, seu envolvimento com as avaliações em nível federal poderá ser também estimulado.

A meta-avaliação como instrumento para a qualificação da avaliação de políticas públicas de saúde / Meta-evaluation as a tool for the improvement of public health policies evaluation

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco

This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process

Perspectiva das mulheres na avaliação do Programa de Humanização do Pré-Natal e Nascimento / Perspectiva de las mujeres en la evaluación del Programa de Humanización del Pre-natal y Nacimiento / Women's perspective in the evaluation of the Program for the Humanization of Antenatal Care and Childbirth

OBJETIVO: Analisar a importância da inclusão da perspectiva das mulheres na avaliação do Programa de Humanização do Pré-Natal e Nascimento. PROCEDIMENTOS METODOLÓGICOS: Estudo qualitativo realizado em base a dados primários coletados para a avaliação do Programa de Humanização do Pré-Natal e Nascimento, do Ministério da Saúde, em 2003, em sete municípios das cinco regiões do Brasil, selecionados a partir de dados extraídos de sistemas de bancos de dados oficiais já existentes. Um dos atores considerado fundamental para a coleta de informações foi a mulher atendida pelo Programa, abordada por meio de dezesseis grupos focais realizados em unidades de saúde. Para o tratamento dos dados empíricos foi utilizado o método do Discurso do Sujeito Coletivo. A análise e discussão foram realizadas com o apoio dos conceitos em saúde pública de acessibilidade e Saúde Paidéia. ANÁLISE DOS RESULTADOS: O Programa estudado normatiza para todos os serviços de saúde do país os procedimentos para a atenção ao pré-natal e o parto e os fluxos a serem observados. A análise do discurso das gestantes, nos grupos focais realizados, trouxe clareza quanto à dissonância existente entre muitas dessas recomendações e os desejos e necessidades da mulher, o que faz com que ela procure traçar para si um outro fluxo de atendimentos. Esta ocorrência traz prejuízos ao vínculo que estabelece com o serviço de saúde, além de dificuldades de controle pelo serviço do seguimento real que está sendo oferecido. CONCLUSÕES: A reflexão realizada do Programa, tomando por base a perspectiva das mulheres atendidas, identificou aspectos cuja consideração no momento da avaliação poderia resultar em maior efetividade e humanização do controle pré-natal oferecido.

OBJECTIVE: To analyze the importance of inclusion, from women's perspective, in the evaluation of the Program for the Humanization of Antenatal Care and Childbirth, carried out by the Brazilian Ministry of Health. METHODOLOGICAL PROCEDURES: This qualitative study was based on primary data collected in 2003 in an evaluation of the Program conducted in seven towns spread out among Brazil's five geographic regions. These sites were selected from a Federal Government data base utilized for quantitative analysis. Women attended by the Program were considered key informants when primary data was collected. Sixteen focal groups were performed in the primary care units. The Collective Subject Speech (CSS) method was used for qualitative analysis. The theoretical concepts of accessibility and Paideia Health within the framework of public health were used to interpret the findings. ANALYSIS OF RESULTS: The Program standardizes procedures to be taken in antenatal care and childbirth for all health services in the country, including the flow among these services. However, analysis of women's discourse in the focal groups elucidated the existence of dissonances between their needs and desires and many of the program's recommendations. Pregnant women thus choose among available services and professionals and try to set up their own schedules which, in turn, do not correspond to those set up by the program. This discrepancy damages the bond women establish with the health services and creates obstacles for the control of the activities actually provided by the health services to the women. CONCLUSIONS: Analysis of the Program based on women's perspective identified aspects that might result in more humanized and effective antenatal care, if they are taken into account in the redefinition or correction of the Program schedule Miolo abstract Miolo abstract Miolo abstract.

OBJETIVO: Analizar la importancia de la inclusión de la perspectiva de las mujeres en la evaluación del Programa de Humanización del Pre-natal y Nacimiento. PROCEDIMIENTOS METODOLOGICOS: Estudio cualitativo realizado en base a datos primarios colectados para la evaluación del Programa de Humanización del Pre-natal y Nacimiento, del Ministerio de Salud, en 2003, en siete municipios de las cinco regiones de Brasil, seleccionados a partir de datos extraídos de sistemas de bancos de datos oficiales ya existentes. Uno de los actores considerado fundamental para la colecta de informaciones fue la mujer atendida por el Programa, abordada por medio de dieciséis grupos focales realizados en unidades de salud. Para el tratamiento de los datos empíricos fue utilizado el método del discurso del sujeto colectivo. El análisis y discusión fueron realizados con el apoyo de los conceptos en salud pública de Accesibilidad y Salud Paidéia. ANÁLISIS DE LOS RESULTADOS: El Programa estudiado norma para todos los servicios de salud del país los procedimientos para la atención al pre-natal y el parto y los flujos a ser observados. El análisis del discurso de las gestantes, en los grupos focales realizados, trajo claridad con relación a la disonancia existente entre muchas de esas recomendaciones y los deseos y necesidades de la mujer, lo que hace que ella busque trazar para sí otro flujo de atención. Esta ocurrencia trae perjuicios al vínculo que establece con el servicio de salud, además de dificultades de control por el servicio de seguimiento real que está siendo ofrecido. CONCLUSIONES: La reflexión realizada del Programa, tomando por base la perspectiva de las mujeres atendidas, identificó aspectos cuya consideración en el momento de la evaluación podría resultar en mayor efectividad y humanización del control pre-natal ofrecido.

Women's perspective in the evaluation of the Program for the Humanization of Antenatal Care and Childbirth.

OBJECTIVE: To analyze the importance of inclusion, from women's perspective, in the evaluation of the Program for the Humanization of Antenatal Care and Childbirth, carried out by the Brazilian Ministry of Health. METHODOLOGICAL PROCEDURES: This qualitative study was based on primary data collected in 2003 in an evaluation of the Program conducted in seven towns spread out among Brazil's five geographic regions. These sites were selected from a Federal Government data base utilized for quantitative analysis. Women attended by the Program were considered key informants when primary data was collected. Sixteen focal groups were performed in the primary care units. The Collective Subject Speech (CSS) method was used for qualitative analysis. The theoretical concepts of accessibility and Paideia Health within the framework of public health were used to interpret the findings. ANALYSIS OF RESULTS: The Program standardizes procedures to be taken in antenatal care and childbirth for all health services in the country, including the flow among these services. However, analysis of women's discourse in the focal groups elucidated the existence of dissonances between their needs and desires and many of the program's recommendations. Pregnant women thus choose among available services and professionals and try to set up their own schedules which, in turn, do not correspond to those set up by the program. This discrepancy damages the bond women establish with the health services and creates obstacles for the control of the activities actually provided by the health services to the women. CONCLUSIONS: Analysis of the Program based on women's perspective identified aspects that might result in more humanized and effective antenatal care, if they are taken into account in the redefinition or correction of the Program schedule Miolo abstract Miolo abstract Miolo abstract.

A inclusão da perspectiva do usuário na avaliação do Programa de Humanização do Pré-Natal e Nascimento: importância e desafios / The inclusion of the women's perspective in the evaluation of the Prenatal Care and Newborn Humanization Program: relevance and challenges

Analisa e discute a importância e o potencial de utlilização das representações sociais das mulheres gestantes e puérperas na avaliação do Programa de Humanização do Pré-Natal e Nascimento (PHPN) - Ministério da Saúde. Situa-se em um contexto de busca pela superação da imagem da avaliação como sinônimo de exclusão e controle externo, no qual se vem optando por práticas que estimulem a participação dos diversos atores envolvidos nos processos reflexivos desencadeados, e em uma consequente reorientação de estratégias quando necessárias. Metodologia - Realizado em base a dados primários coletados em grupos focais com mulheres atendidas pelo PHPN, no ano de 2003. O método do Discurso do Sujeito Coletivo, com apoio em referencial teórico do campo da Saúde Pública, foi utilizado para o tratamento e análise dos dados. Resultados - O estudo aprofundado acerca das representações sociais das mulheres atendidas pelo PHPN permitiu o destaque que, se considerados no momento de elaboração ou correção de rumos do Programa, poderiam resultar em uma maior efetividade do controle pré-natal e em realização de forma humanizada, conforme diretrizes do PHPN. A metodologia utilizada permitiu a identificação e a compreensão da importância de variáveis do Programa que necessitaram ser flexibilizadas para possibilitar em maior alcance das ações programadas